close

document a SNAFU

throwing away a week's work

This was an attempt at continuing the RawFilePath transition into an
OsPath transition. Unforunately, it had multiple test suite failures on
windows. Debugging those seems that it would be more work than the
minor optimisation value of this.

merge in doc changes from master

fix liuxstandalone build

disable OsPath build flag on windows for now

Test suite failure looks like this:

        fatal: could not open '\\?\C:\Users\appveyor\AppData\Local\Temp\1\hash-cc81b41d-dfda-4ae8-904b-b531742443cc' for reading: No such file or directory
        fatal: could not open '\\?\C:\Users\appveyor\AppData\Local\Temp\1\hash-cc81b41d-dfda-4ae8-904b-b531742443cc' for reading: No such file or directory
        fatal: could not open '\\?\C:\Users\appveyor\AppData\Local\Temp\1\hash-cc81b41d-dfda-4ae8-904b-b531742443cc' for reading: No such file or directory
        fatal: could not open '\\?\C:\Users\appveyor\AppData\Local\Temp\1\hash-cc81b41d-dfda-4ae8-904b-b531742443cc' for reading: No such file or directory
        fatal: could not open '\\?\C:\Users\appveyor\AppData\Local\Temp\1\hash-cc81b41d-dfda-4ae8-904b-b531742443cc' for reading: No such file or directory
        fatal: could not open '\\?\C:\Users\appveyor\AppData\Local\Temp\1\hash-cc81b41d-dfda-4ae8-904b-b531742443cc' for reading: No such file or directory
        fatal: could not open '\\?\C:\Users\appveyor\AppData\Local\Temp\1\hash-cc81b41d-dfda-4ae8-904b-b531742443cc' for reading: No such file or directory
        fatal: could not open '\\?\C:\Users\appveyor\AppData\Local\Temp\1\hash-cc81b41d-dfda-4ae8-904b-b531742443cc' for reading: No such file or directory
        fatal: could not open '\\?\C:\Users\appveyor\AppData\Local\Temp\1\hash-cc81b41d-dfda-4ae8-904b-b531742443cc' for reading: No such file or directory
        fatal: could not open '\\?\C:\Users\appveyor\AppData\Local\Temp\1\hash-cc81b41d-dfda-4ae8-904b-b531742443cc' for reading: No such file or directory
        fatal: could not open '\\?\C:\Users\appveyor\AppData\Local\Temp\1\hash-cc81b41d-dfda-4ae8-904b-b531742443cc' for reading: No such file or directory
        git-annex: fd:4: Data.ByteString.hGetLine: end of file
        git-annex: user error (git ["--git-dir=.git","--work-tree=.","--literal-pathspecs","hash-object","-w","--no-filters","--stdin-paths"] exited 128)

This is apparently in Git.HashObject, and probably in hashBlob, which uses a
temp file with a name starting with "hash", but I have not been able to tell
what's wrong.

I don't understand where the "\\?" path prefix (windows UNC-style path)
is coming from in the path that gets fed into git hash-file, or why git
hash-file can't open the file.

remove temp debugging code

debug test suite crash on windows

fix windows build

fix fromOsPath on windows

Same reasons as 9c9baf7c6581235643661b94f70f76f8a10ae60e

fix toOsPath on windows

After recent changes to use OsPath, test suite fails on windows with:

Exception: Uneven number of bytes: 5. This is not a Word16 bytestream.

Hopefully this fixes it. The innefficiency of the conversion is
unfortunate.

response

Added a comment

Added a comment

Added a comment

Added a comment

Added a comment

Merge branch 'master' of ssh://git-annex.branchable.com

windows build fix

and a little more bonus RawFilePath conversion

correct typo

poll vote (My phone (or MP3 player))

poll vote (My phone (or MP3 player))

comment

update

update

comment

comment

Added a comment: Simple config amendment for Apache served repositories

Merge branch 'master' of ssh://git-annex.branchable.com

comment

Added a comment

Added a comment

Added a comment

thoughts

update comment

Merge branch 'master' of ssh://git-annex.branchable.com

fix link

reporting on FTBFS

Added a comment

Added a comment

Added a comment

Some clarifications in my reproduce steps about the state of the rsync remote

rename bugs/rsyncurl_without___34____58____34___creates_local_folder_as_repo.mdwn to bugs/rsyncurl_without___34____58____34___creates_local_folder_as_remote.mdwn

Initial post

Added a comment

Added a comment

Merge branch 'master' of ssh://git-annex.branchable.com

windows build fix

Added a comment

another windows build fix

more windows and osx build fixes

more windows and osx build fixes

Merge branch 'master' of ssh://git-annex.branchable.com

windows and osx build fixes for recent ByteString conversion work

avoid build warning on windows

remove a few unused imports on windows

Added a comment

Added a comment

complaining about dead

Added a comment

update

response

Merge branch 'master' of ssh://git-annex.branchable.com

parsePOSIXTime ByteString conversion

Some easy (though tiny) speed wins.

Sponsored-by: Luke T. Shumaker on Patreon

fix reversion

af3b9cbd3647ecfb3f3f6c4008dc9e64f7d42591 lost takeFileName, breaking the
test suite

convert from readFileStrict

This removes that function, using file-io readFile' instead.

Had to deal with newline conversion, which readFileStrict does on
Windows. In a few cases, that was pretty ugly to deal with.

Sponsored-by: Kevin Mueller

fix reversion

In 793ddecd4b72a5e4746b3b426d3bca400737118b, writeSshConfig was made to
writeFile a ByteString, which lost the newline conversion on Windows.

Added linesFile to fix it. This will also be useful for other writeFile
conversions.

convert from readFileStrict

In cases where it reads lines, which needs newline conversion on
windows.

convert from readFileStrict

More of these still to convert, but need to be careful of newline
translation.

fix reversion

793ddecd4b72a5e4746b3b426d3bca400737118b made installWrapper not do
newline conversion on windows.

use file-io for readFile/writeFile/appendFile on ByteStrings

These are all straightforward, and easy small performance wins.

Sponsored-by: Nicholas Golder-Manning

RawFilePath conversion for replaceFile

Sponsored-by: Joshua Antonishen

simplify replaceFile using relatedTemplate

Now that truncateFilePath and relatedTemplate have both been optimised,
may as well use them in replaceFile, rather than the custom hack it
used.

Removed the windows-specific ifdef as well, because on Windows long
filepaths no longer really a problem, since ghc and git-annex use UNC
converted paths.

replaceFile no longer checks fileNameLengthLimit. That took a syscall,
and since we have an existing file, we know filenames of its length are
supported by the filesystem. Assuming that the withOtherTmp directory is
on the same filesystem as the file replaceFile is being called on, which
I believe it is.

Sponsored-by: Leon Schuermann

optimize truncateFilePath

Often the filepath will be all ascii, or mostly so, and this
optimisation makes a file that has an ascii suffix of sufficient length
be roundtrip converted between String and ByteString only once, rather
than once per character.

Sponsored-by: Graham Spencer

optimize relatedTemplate

break out templateAddedLength

use openTempFile from file-io

And follow-on changes.

Note that relatedTemplate was changed to operate on a RawFilePath, and
so when it counts the length, it is now the number of bytes, not the
number of code points. This will just make it truncate shorter strings
in some cases, the truncation is still unicode aware.

When not building with the OsPath flag, toOsPath . fromRawFilePath and
fromRawFilePath . fromOsPath do extra conversions back and forth between
String and ByteString. That overhead could be avoided, but that's the
non-optimised build mode, so didn't bother.

Sponsored-by: unqueued

rename forum/reupload_existing_files_to_bare_repo.mdwn to forum/reuploads_existing_files_to_bare_repo.mdwn

Added a comment: Exporting a synced/* branch works now! 🥳

add file-io to build-depends when building with OsPath flag

Partly converted code to use functions from it, though more remain
unconverted. Most of withFile and openFile now use it.

avoid build warning with recent ghc

foldl' is in Prelude now. Explicitly import Data.List still
for older systems and add explict Prelude import to avoid warning.

rename OsString to OsPath

clean up stack.yaml with new versions of dependencies

RawFilePath conversion for Utility.Directory.Stream

RawFilePath conversion of System.Directory

By using System.Directory.OsPath, which takes and returns OsString,
which is a ShortByteString. So, things like dirContents currently have the
overhead of copying that to a ByteString, but that should be less than
the overhead of using Strings which often in turn were converted to
RawFilePaths.

Added Utility.OsString and the OsString build flag. That flag is turned
on in the stack.yaml, and will be turned on automatically by cabal when
built with new enough libraries. The stack.yaml change is a bit ugly,
and that could be reverted for now if it causes any problems.

Note that Utility.OsString.toOsString on windows is avoiding only a
check of encoding that is documented as being unlikely to fail. I don't
think it can fail in git-annex; if it could, git-annex didn't contain
such an encoding check before, so at worst that should be a wash.

stop exporting Utility.SystemDirectory from Utility.Directory

update

update

relax annex-tracking-branch to allow "/"

Allow setting remote.foo.annex-tracking-branch to a branch name that
contains "/", as long as it's not a remote tracking branch.

Merge branch 'master' of ssh://git-annex.branchable.com

Support help.autocorrect settings "never" and "immediate"

Support help.autocorrect=prompt

Report bug that one can't export synced/ branches